HS 2025
LV-Leitung: Dr. Sandra Grinschgl / MSc. Aaron Friedli
Tutor: BSc. Lars Schilling
2. Einheit, 24.09.2025
10:15 (N = 24)
Wie würdest du aktuell deine R-Kenntnisse einschätzen?
16:15 (N = 23)
Wie würdest du aktuell deine R-Kenntnisse einschätzen?
Wie oft hast du R schon verwendet?
10:15
Wie oft hast du R schon verwendet?
16:15
In welchen Lehrveranstaltungen hast du R verwendet?
Statistik
Diagnostik
Neuowissenschaften/Computerlab
Bachelorarbeit/Masterarbeit
Weitere Kurse und Seminar ( z.B. Datensatzaufbereitung in R)
Hast du R auch außerhalb von Lehrveranstaltungen verwendet?
10:15
Hast du R auch außerhalb von Lehrveranstaltungen verwendet?
16:15
Welche R-Pakete hast du bereits verwendet?
Wie unsicher fühlst du dich im Umgang mit den folgenden Themen?
10:15
Wie unsicher fühlst du dich im Umgang mit den folgenden Themen?
16:15
Welche weiteren Schritte bereiten dir Schwierigkeiten in R?
Allgemeine Unsicherheit / Überforderung
Grundlegendes, Syntax & Fehleranalyse (Code funktioniert nicht)
Pakete und Funktionen (Wann brauche ich was?)
Codes schreiben und verstehen (Eigenständig coden, nachvollziehen von generiertem Code)
Datenverständnis & -aufbereitung
Statistische Analysen & Anwendungen
Ganzheitliches Verständnis von Code
Bei welchen Schritten in R fühlst du dich sicher, wenn du auch daran denkst, die im Bachelor erworbenen Unterlagen zu Hilfe zu ziehen?
Basics (z.B. Vektoren zuweisen)
Datenimport & -aufbereitung
Deskriptive & einfache Analysen
Visualisierung mit ggplot2
Fortgeschrittene Analysen mit bereits vorbereiteten Daten
Allgemeine Unsicherheit ➡️ mit Unterlagen, KI, oder Schritt für Schritt Anweisungen funktioniert bereits einiges
Was würdest du gerne in diesem Methodenseminar lernen?
Grundlagen und Verständnis festigen ➡️ Sicherheit gewinnen
Datenaufbereitung
Statistische Analysen und Interpretation
Wann brauche ich welche Tests ➡️ Leider kann keine grundlegende Statistik-Auffrischung angeboten werden.
Aber: Strukturiertes Vorgehen z.B. Datenanalyseplan.
Visualisierung und Dokumentation
Eigenständiger werden & Problemlöseskills
Motivation und Sicherheit!
Welche Unterstützung um die Datenaufbereitung und -analyse in R würdest du dir innerhalb dieses Seminars wünschen?
offene Fehlerkultur
Schritt-für-Schritt-Anleitungen im individuellen Tempo → Musterlösungen
Üben und Praxis ➡️ Hands-on!
Welche Unterstützung um die Datenaufbereitung und -analyse in R würdest du dir außerhalb dieses Seminars (z.B. im Studium allgemein) wünschen?
Anlaufstellen & Beratung ➡️ Methodenberatung, Foren für Mitstudierende
Skripte & Materialien ➡️ Frei Zugängliche Skripte, Templates, Cheat-Sheets
Kurse & Übungsangebote ➡️ Zusätzliche Kurse für Auffrischung und Übung
Praxis & Anwendung im Studium ➡️ R stärker in VLs und Seminare & Projekte einbinden um Routine zu entwicklen
Theorie-Verknüpfung & Verständnis
10:15
16:15
Vorgehen: Melden bis Sonntag 28.09 (ILIAS Forum, siehe EH2) mit Namen des 2er Teams
Ansonsten: Zufällige Zuteilung am Montag - Kennenlernen in der nächsten Einheit
Ausgangspunkt: 9 Studien, die darauf hinweisen, dass Personen «in die Zukunft sehen können» (Bem , 2011)
Etablierte psychologische Messmethoden (z.B. Priming)
Ein Ergebnis: Primes, die nach Antwort präsentiert werden, beeinflussen Antwortzeiten
Starke Kritik, v.a. was Methodik betrifft; gerade kontroverse,„unwahrscheinliche“ Hypothesen sollten durch strikte, konfirmatorische Analysen überprüfen (Francis, 2012; LeBel & Peters, 2011; Wagenmakers et al., 2011)
Diverse gescheiterte Replikationsversuche (Galak et al., 2012; Ritchie et al., 2012; Robinson, 2011)
Schönbrodt, 2023
Gemeinsames Projekt von 270 Autor:innen, mit dem Ziel 100 Studien aus drei verschiedenen Journals zu replizieren.
Signifikante Ergebnisse in den Original-Studien: 97%
Schönbrodt, 2023; Hofer, 2024
*Bei Wirtschaft geht es um Reproduzierbarkeit.
Siehe auch: https://www.youtube.com/watch?v=FpCrY7x5nEE&ab_channel=TED-Ed
Akademisches Umfeld:
Quantität > Qualität
“publish or perish”
Questionable Research Practices:
Selektive Berichterstattung
p-hacking
Biases:
Confirmation Bias
Publication Bias
“If you torture data long enough, it will confess to anything” - Ronald Coase
(Spielt natürlich auch eine Rolle: Versuchsmethoden und Zufallsbefunde)
Chambers, C. (2017). The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice. Princeton University Press. https://doi.org/10.1515/9781400884940
Top German psychologist fabricated data, investigation finds
A Scandal in Alzheimer’s Research Shows How Science Can Go Astray
Bild generiert von ChatGPT Image Generator
Oder?
„Science is never perfect, but what this crisis has shown is that there is never a shortage of scientists who will keep trying to make it better.” (Maki Naro)
Auch wichtig: Registered Reports und Replikationsstudien; Open Acces Publikationen, Open Peer Review, Educational Practices
Präregistrierung
Festlegung der zentralen Aspekte der Studie (z.B. Hypothesen, Stichprobe, Analyse) vor ihrer Umsetzung (d.h. vor der Datenerhebung)
Auch möglich vor der Datenanalyse —> Datenanalyseplan
Präregistrierung wird veröffentlicht, erhält einen Zeitstempel und ist schreibgeschützt
Preprints:
Version des Manuskripts vor Peer-Review
Postprint: Version des Manuskripts nach Peer Review.
Open Material, Data & Code
Open Material: Untersuchungsmaterial (Fragebogen, Stimuli, usw.) wird online zur Verfügung gestellt
Open Data: Daten werden in anonymisierter Form veröffentlicht
Open Code: Reproduzierbare Analyseskripte werden zur Verfügung gestellt
Erlaubt Ergebnisse zu überprüfen; erhöht die Glaubwürdigkeit an Forschung; stärkt die gefundenen Ergebnisse
Stefan et al. (2023)
Pennington, C. R. (2023). A student’s guide to open science: Using the replication crisis to reform psychology. McGraw Hill.
Open Science an der Universität Bern: https://www.ub.unibe.ch/service/open_science/index_ger.html
Blogs über aktuelle Themen: https://datacolada.org
Journal Club: https://reproducibilitea.org
Comic: https://thenib.com/repeat-after-me/?utm_campaign=web-share-links&utm_medium=social&utm_source=link
Lehrveranstaltungen der Abteilung „Psychologie der Digitalisierung“- Meta-Wissenschaft https://www.dig.psy.unibe.ch/studium/lehrveranstaltungen/index_ger.html
„Spellchecker“ für Statistik https://michelenuijten.shinyapps.io/statcheck-web/
Festhalten der Analysen in Datenanalyseplänen
Analyse reproduzierbar gestalten ➡️ durch Kommentierung von Code, Codebook etc.
Idealerweise: auch bei der Masterarbeit Präregistrierung oder Datenanalyseplan etc. (Unterstützung dafür bietet auch die Methodensprechstunde bei Aaron)
Regt eure Betreuer:innen an!
Vorteile, u.a.:
kann davor festhalten, was ich erwarte und wie ich es analysiere = erhöhte Transparenz
verringerte Möglichkeiten von p-hacking, HARKing, und Biases Stichprobengröße wird festgeschrieben und muss begründet werden
Unterscheidung konfirmatorischer und explorativer Forschung
konfirmatorisch: Eine vorab festgelegte Theorie & Hypothese testen
explorativ: neue Zusammenhänge/Unterschiede entdecken; keine Annahmen vorab
“Its a plan, not a prison” (Pennington, 2023)
Welche Hypothesen möchte ich testen?
Stichprobe (inkl. Poweranalyse)
Berechnung der abhängigen Variablen
Datenausschluss
Umgang mit fehlenden Daten, Umgang mit Ausreißern
Wie (d.h. mit welchem statistischen Modell) teste ich meine Hypothesen?
Welche Voraussetzungen sind dabei zu beachten und wie gehe ich bei Verletzungen dieser vor?
Welche Inferenz-Kriterien ziehe ich heran?
➡️ Verringerung der “Researcher Degrees of Freedom”
➡️ Wichtig für alle empirischen Arbeiten! Wenn man diese Punkte vor der Datenerhebung gut durchdenkt, spart man sich bei der Analyse viel Aufwand.
➡️Greift auf eure Statistik-Kenntnisse und die Unterlagen aus dem Bachelor zurück!
Nachteile?
From metacognitive beliefs to strategy selection: does fake performance feedback influence cognitive offloading?
3 Gruppen und mehrere Messzeitpunkte
between-within Design
Hauptanalysen: ANOVAs und t-Tests
Verschiedene AVs (z.B. cognitive offloading, Arbeitsgedächtnisfähigkeiten, Selbsteinschätzung)
Präregistriert auf OSF https://osf.io/9hpz5
ACHTUNG: Kein optimales Beispiel, an manchen Stellen zu knapp!
Secondary Data Analyses Preregistration (https://osf.io/x4gzt/)){.uri}
Basierend auf Van den Akker et al. (2021) -> siehe Paper für eine Anleitung & Youtube Video https://www.youtube.com/watch?v=fqvJx2_V3zY
Leichte Modifikationen für unser Seminar Vorlage auf ILIAS unter «Abschlussprojekt» -> ZIP-Ordner
Diese Fragen sind für die Analysen von Grinschgl et al, (2020) zu beantworten –> erste HÜ
Datenanalyseplan für Reproduzierung der Analysen von Grinschgl et al. (2020) erstellen (bis EH 4) ➡️4 Punkte
Paper befindet sich ohne und mit Hinweisen auf ILIAS (Ordner «Abschlussprojekt» ➡️ Zip Ordner)
Auf Deutsch oder Englisch
Nicht nur Kopie der Textteile aus dem Paper, sondern in eigene Worte fassen
Es gibt nicht die EINE richtige Lösung
Einfach mal probieren! Korrektheit zweitrangig!
Musterlösung & Peer-Review (Zwischen EH 4-5) ➡️ 4 Punkte
Abschlussarbeit: überarbeiteten Datenanalyseplan mit abgeben (Basis: Simulierte Daten) ➡️ Teil der 46 Punkte (Abschlussarbeit)
FAQ anschauen, Ilias Forum für neue Fragen nutzen
Illustration von svstudioart/Freepik
Replikationsstudie von Loftus und Palmer(1974) Car Crash Experiment
Loftus, E. F., & Palmer, J. C. (1974). Reconstruction of auto-mobile destruction: An example of the interaction between language and memory. Journal of Verbal Learning and Verbal behavior, 13, 585-589.
Den Ursprung und Gründe der Replikationskrise kennengelernt
Das Verbessern psychologischer Forschung mittels Open Science Praktiken diskutiert
Das Konzept der Präregistrierung und des Datenanalyseplans kennengelernt
Weitere Hands-On Übungen zu R Basics bearbeitet
Bem, D. J. (2011). Feeling the future: Experimental evidence for anomalous retroactive influences on cognition and affect. Journal of Personality and Social Psychology, 100, 407–425. https://doi.org/10.1037/a0021524
Francis, G. (2012). Too good to be true: Publication bias in two prominent studies from experimental psychology. Psychonomic Bulletin & Review, 19, 151–156. https://doi.org/10.3758/s13423-012-0227-9
Galak, J., LeBoeuf, R. A., Nelson, L. D., & Simmons, J. P. (2012). Correcting the past: Failures to replicate psi. Journal of Personality and Social Psychology, 103(6), 933–948. http://dx.doi.org/10.1037/a0029709
Grinschgl, S., Meyerhoff, H. S., Schwan, S., & Papenmeier, F. (2021). From metacognitive beliefs to strategy selection: Does fake performance feedback influence cognitive offloading? Psychological Research, 85, 2654–2666. https://doi.org/10.1007/s00426-020-01435-9
Hofer, G. (2024, April 23). Open Science [Course presentation]. University of Graz.
LeBel, E. P., & Peters, K. R. (2011). Fearing the future of empirical psychology: Bem’s (2011) evidence of psi as a case study of deficiencies in modal research practice. Review of General Psychology, 15(4), 371–379. https://doi.org/10.1037/a0025172
Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), Article aac4716. https://doi.org/10.1126/science.aac4716
Pennington, C. R. (2023). A student’s guide to open science: Using the replication crisis to reform psychology. McGraw Hill.
Ritchie, S. J., Wiseman, R., & French, C. C. (2012). Failing the future: Three unsuccessful attempts to replicate Bem’s ‘Retroactive Facilitation of Recall’ effect. PloS One, 7(3), Article e33423. https://doi.org/10.1371/journal.pone.0033423
Robinson, E. (2011). Not feeling the future: A failed replication of retroactive facilitation of memory recall. Journal of the Society for Psychical Research, 75, 142–147.
Schönbrodt, F. (2023). Open Science: An overview and first easy steps. https://osf.io/nf2rg
Stefan, A. M., Schönbrodt, F., & Schiestel, L. (2023). An introduction to Open Science. https://osf.io/vza25
Wagenmakers, E.-J., Wetzels, R., Borsboom, D., & van der Maas, H. L. J. (2011). Why psychologists must change the way they analyze their data: The case of psi: Comment on Bem (2011). Journal of Personality and Social Psychology, 100(3), 426–432. https://doi.org/10.1037/a0022790
Van Den Akker, O. R., Weston, S., Campbell, L., Chopik, B., Damian, R., Davis-Kean, P., Hall, A., Kosie, J., Kruse, E., Olsen, J., Ritchie, S., Valentine, K., Van ’T Veer, A., & Bakker, M. (2021). Preregistration of secondary data analysis: A template and tutorial. Meta-Psychology, 5. https://doi.org/10.15626/MP.2020.2625